Training Object Permanence in World Models
在世界模型中训练对象永久性
🧭 视频世界模型 · 对象永久性推理
University of Southern California · Carnegie Mellon University · University of Michigan · Johns Hopkins University · University of California, San Diego
构建 150 类认知任务 Blender 数据生成器，产出 1.5M 视频训练集并微调 16B 模型，在对象永久性盲测中 continuation 类第一
📌 工作参考价值（4 点）
- 借鉴程序化生成数据的思路：把核心认知/业务结构固定（如用户意图、商品属性关系），随机化干扰因子（视角、光照、渲染参数）批量合成训练样本，用于提升多模态模型对核心特征的鲁棒性，类似电商商品图/视频的合成增强。
- 构建小规模但高针对性的任务族 + 专门微调：用 150 类认知任务、每类 10k 样本的紧凑数据即可在特定物理推理能力上超过大模型，可用于快速补齐商品视频生成、3D 试穿等模型的物理合理性短板。
- 盲测 Elo 评估范式：对多个生成模型输出做匿名成对比较再计算 Elo，比单指标分数更接近人类感知排序，适合评估广告文案、商品描述或推荐理由生成质量。
- 发布权重和训练栈的做法可参考：如果要复现或继续微调，公开训练栈和权重能降低多模态模型训练成本，团队内也可沉淀类似工具。